Para idiomas de bajos recursos como kalaallisut y fula, un gran esfuerzo para descubrir qué se pierde en la traducción.
¿Qué haces después de haber recolectado muestras de escritura para mil idiomas con el propósito de traducir, y los humanos aún califican las traducciones resultantes como un fracaso?
Examinar las fallas, obviamente.
Y ese es el trabajo interesante que los científicos de aprendizaje automático de Google relataron este mes en un artículo de investigación masivo sobre traducción multilingüe, «Construyendo sistemas de traducción automática para los próximos mil idiomas».
«A pesar del tremendo progreso en la traducción automática de bajos recursos, la cantidad de idiomas para los que se han creado sistemas de traducción automática de dominio general ampliamente disponibles se ha limitado a alrededor de 100, que es una pequeña fracción de los más de 7000 idiomas que se hablan. en el mundo de hoy», escriben el autor principal Ankur Bapna y sus colegas.
El documento describe un proyecto para crear un conjunto de datos de más de mil idiomas, incluidos los llamados lenguajes de bajos recursos, aquellos que tienen muy pocos documentos para usar como ejemplos para entrenar el aprendizaje automático.
Si bien es fácil recopilar miles de millones de oraciones de ejemplo para el inglés y más de cien millones de oraciones de ejemplo para el islandés, por ejemplo, el idioma kalaallisut, hablado por unas 56 000 personas en Groenlandia, tiene menos de un millón, y el malayo Kelantan-Pattani El idioma, hablado por unos cinco millones de personas en Malasia y Tailandia, tiene menos de 10.000 oraciones de ejemplo disponibles.
Para compilar un conjunto de datos para la traducción automática de esos idiomas de bajos recursos, Bapna y dos docenas de colegas primero crearon una herramienta para buscar en Internet e identificar textos en idiomas de bajos recursos. Los autores utilizan una serie de técnicas de aprendizaje automático para ampliar un sistema llamado LangID, que comprende técnicas para identificar si un texto web pertenece a un idioma determinado. Ese es un proceso bastante complicado de eliminar falsos positivos.
Después de explorar la Web con técnicas LangID, los autores pudieron reunir «un conjunto de datos con corpus para 1503 idiomas de bajos recursos, que varían en tamaño desde una oración (Mape) hasta 83 millones de oraciones (Sabah Malay)».
Los científicos redujeron esa lista a 1.057 idiomas «donde recuperamos más de 25.000 oraciones monolingües (antes de la deduplicación)», y combinaron ese grupo de muestras con datos mucho más grandes para 83 «idiomas de alto recurso», como el inglés.
Luego probaron su conjunto de datos ejecutando experimentos para traducir entre los idiomas de ese conjunto. Utilizaron varias versiones de la omnipresente red neuronal Transformer para modelar el lenguaje. Para probar el rendimiento de las traducciones, los autores se centraron en traducir hacia y desde el inglés con 38 idiomas para los que obtuvieron ejemplos de traducciones verdaderas, incluido kalaallisut.
Ahí es donde entra la parte más interesante. Los autores pidieron a revisores humanos que son hablantes nativos de idiomas de bajos recursos que calificaran la calidad de las traducciones de 28 idiomas en una escala de cero a seis, siendo 0 «tonterías o idioma incorrecto». y 6 perfecto.»
Los resultados no son geniales. De los 28 idiomas traducidos del inglés, 13 obtuvieron una calificación inferior a 4 en la escala en términos de calidad de la traducción. Eso implicaría que casi la mitad de las traducciones del inglés al destino fueron mediocres.
Los autores tienen una discusión fascinante a partir de la página 23 de lo que parece haber salido mal en aquellas traducciones con calificaciones bajas.
«Lo más importante es que las métricas automáticas sobrestiman el rendimiento en los dialectos relacionados», escriben, lo que significa que las puntuaciones que la máquina asigna a las traducciones, como la puntuación BLEU ampliamente utilizada, tienden a dar crédito cuando la red neuronal simplemente está traduciendo a un idioma incorrecto. eso es como otro idioma. Por ejemplo, «el pidgin nigeriano (pcm), un dialecto del inglés, tenía puntajes BLEU y CHRF muy altos, de alrededor de 35 y 60 respectivamente. Sin embargo, los humanos calificaron las traducciones con mucha severidad, con un 20 % juzgado como ‘tonterías/incorrectas'». Language’, con hablantes nativos de confianza que confirmaron que las traducciones eran inutilizables».
«Lo que está sucediendo aquí es que el modelo se traduce en (una versión corrupta de) el dialecto incorrecto, pero está lo suficientemente cerca en un nivel de n-grama de carácter» para que el punto de referencia automático lo califique alto, observan.
«Esto es el resultado de un problema de contaminación de datos», deducen, «ya que estos lenguajes están tan cerca de otros lenguajes mucho más comunes en la web […] es mucho más probable que los datos de entrenamiento se mezclen con versiones corruptas del lenguaje de recursos más altos, u otras variedades».
Ejemplos de traducciones con términos correctos en azul y errores de traducción en amarillo.
Y luego está lo que los autores denominan «modos de error característicos» en las traducciones, como «traducir sustantivos que ocurren en contextos distributivamente similares en los datos de entrenamiento», como sustituir «sustantivos relativamente comunes como ‘tigre’ con otro tipo de palabra animal , señalan, «lo que demuestra que el modelo aprendió el contexto de distribución en el que aparece este sustantivo, pero no pudo adquirir las asignaciones exactas de un idioma a otro con suficiente detalle dentro de esta categoría».
Tal problema ocurre con «nombres de animales, colores y horas del día» y «también fue un problema con los adjetivos, pero observamos pocos errores de este tipo con los verbos. A veces, las palabras se traducían en oraciones que podrían considerarse conceptos culturalmente análogos: por ejemplo, traducir «queso y mantequilla» a «cuajada y yogur» cuando se traduce del sánscrito».
Los autores hacen un caso extenso para trabajar en estrecha colaboración con hablantes nativos:
Hacemos hincapié en que, cuando sea posible, es importante tratar de establecer relaciones con hablantes nativos y miembros de estas comunidades, en lugar de simplemente interactuar con ellos como trabajadores colectivos a distancia. Para este trabajo, los autores se acercaron a miembros de tantas comunidades como pudimos, teniendo conversaciones con más de 100 miembros de estas comunidades, muchos de los cuales estaban activos en este proyecto.
Un apéndice ofrece gratitud a una larga lista de tales hablantes nativos.
A pesar de los fracasos citados, los autores concluyen que el trabajo tiene éxitos notables. En particular, utilizando el enfoque LangID para explorar la web, «podemos crear un conjunto de datos de texto sin etiquetar multilingüe que contiene más de 1 millón de oraciones para más de 200 idiomas y más de 100 000 oraciones en más de 400 idiomas».
Y el trabajo con los modelos de Transformer los convence de que «es posible construir modelos MT prácticos y de alta calidad para lenguajes de cola larga utilizando el enfoque descrito en este trabajo».
Fuente: zdnet
